"Künstliche Intelligenz"Automatisierte Kriegsführung und die Genfer Konvention

Die Kriegsführung wird zunehmend digitalisiert und automatisiert. Damit verändert sich auch die Rolle der Bürger:innen innerhalb der Genfer Konventionen. Um dieser Entwicklung zu begegnen, brauchen wir dringend neue internationale Vereinbarungen.

Eine Wand aus leuchtenden roten Rechtecken, davor der Schatten einer Person
Wer trifft im automatisierten Krieg die Entscheidung – und wer trägt die Verantwortung? – Gemeinfrei-ähnlich freigegeben durch unsplash.com rishi

Die Technologien der sogenannten Künstlichen Intelligenz (KI) haben in den vergangenen 18 Monaten – etwa mit der Einführung von ChatGPT – einen rasanten Aufschwung und ein schnelles Wachstum im kommerziellen Bereich erfahren. Vor kurzem berichteten mehrere Nachrichtenagenturen, dass Israel im Gaza-Konflikt KI einsetzt, was die israelische Armee vehement bestreitet. Es besteht jedoch kaum ein Zweifel daran, dass neue Technologien schon bald auf dem Schlachtfeld zum Einsatz kommen werden.

Bei der Kriegsführung werden Computer und automatisierte Prozesse in wesentlich ausgefeilteren Systemen eingesetzt, zum Beispiel in Form von automatisierten Waffen und unbemannten Fahrzeugen, die im auf dem Kriegsschauplatz autonome Entscheidungen treffen können. Andere Beispiele sind Technologien, die eine schnellere Entscheidungsfindung ermöglichen, indem sie in die Gefechtsplanung einfließen oder das schnelle Abfangen feindlicher Funksprüche ermöglichen.

In der Wirtschaft und im Geschäftsleben haben die Verzerrungen, Diskriminierungen und möglichen Arbeitsplatzverluste viel Aufmerksamkeit auf sich gezogen, die durch die Verwendung von KI und automatisierten Technologien entstehen. An erster Stelle sollte jedoch die Diskussion darüber stehen, welche Auswirkungen der Einsatz dieser Lösungen auf die Kriegsführung hat: Automatisierte Entscheidungsfindung oder automatisierte Waffen automatisieren nicht nur den Krieg an sich, sondern sie können auch die Rollen der Bürger:innen innerhalb der Genfer Konventionen verändern und verschieben.

Die Digitalisierung der Kriegsführung

In den USA ist es nicht ungewöhnlich, dass es enge Verbindungen zwischen der Tech-Industrie und der Armee gibt. Ein prominentes Beispiel ist Eric Schmidt, ehemaliger CEO von Google, der daneben als Vorsitzender des Advisory Committee for the Department of Defense und der National Security Commission on Artificial Intelligence auch als Berater für die US-Streitkräfte tätig war. In seinem Beitrag für Foreign Affairs forderte er jüngst eine „Kriegsführung mit der Geschwindigkeit von Computern, nicht mit der Geschwindigkeit von Menschen“. Schmidt vergleicht KI mit den Konquistadoren, die das Inkareich besiegten, und will sicherstellen, dass die USA zu einer vollautomatischen Kriegsführung fähig sind. Bei dieser Art der Kriegsführung „werden autonome, waffenfähige Drohnen – das heißt, nicht nur unbemannte Luftfahrzeuge, sondern auch Landfahrzeuge – die Soldat:innen sowie die bemannte Artillerie vollständig ersetzen.“

Die autonomen Land- und Luftfahrzeuge, die die USA nach Schmidts Willen entwickeln sollen, sind noch im experimentellen Stadium. Doch es wird bereits daran gearbeitet, dass Militärfahrzeuge, darunter Kampfjets und U-Boote, neben Schwärmen autonomer Drohnen operieren können, während KI die Aktionen koordiniert.

Auch wenn vieles davon weit hergeholt erscheinen mag, sind automatisierte Entscheidungen im Militär weiter fortgeschritten als in anderen Bereichen: Das Projekt Maven wurde 2017 von den USA finanziert, während gemeinsame Projekte wie AUKUS von Australien, den USA und Großbritannien seit einigen Jahren aktiv an der Entwicklung automatisierter und robotischer Waffensysteme mitarbeiten. Die Systeme helfen bereits bei der Erkennung und Klassifizierung relevanter Signale, damit sie je nach Bedarf gestört oder abgefangen werden können. KI kann die Flugbahnen ballistischer Raketen im Voraus berechnen, um sie dann präventiv abzufangen oder umzulenken. Außerdem kann Künstliche Intelligenz die verschlüsselte Kommunikation feindlicher Streitkräfte entschlüsseln und automatisch übersetzen. Russland und China arbeiten aktiv an der Entwicklung derartiger automatisierter Systeme. Dies ist ein Grund dafür, dass die USA und die EU im Kontext der NATO so viel Gewicht auf die Entwicklung ähnlicher Lösungen gelegt haben.

Auswirkungen auf die Genfer Konventionen

Die Automatisierung von Systemen und Waffen im Krieg kann zunächst wie eine gute Idee erscheinen. Im Prinzip ist es möglich, Krieg zu führen und dabei weniger junge Menschen in die Schusslinie zu bringen. In der Erklärung der israelischen Armee, wonach sie keine KI für die gezielte Bekämpfung von Menschen einsetze, war jedoch ein kleiner Satz versteckt, der uns zum Nachdenken bringen sollte:

„… eine Person, die sich direkt an den Feindseligkeiten beteiligt, wird als rechtmäßiges Ziel betrachtet.“

Eine entscheidende Frage für die Welt, die in das neue Zeitalter der KI-gestützten und KI-gesteuerten Kriegsführung eintritt, ist, welche Auswirkungen dies auf die Genfer Konventionen und die Rolle der Bürger:innen im Krieg haben wird. KI hat das Potenzial, beides dramatisch zu verändern.

Die Genfer Konventionen und ihre Zusatzprotokolle bilden den Kern des humanitären Völkerrechts und regeln die Austragung bewaffneter Konflikte. Sie haben zum Ziel, die Auswirkungen des Krieges zu begrenzen, indem sie Menschen schützen, die nicht an den Feindseligkeiten teilnehmen, sowie jene, die nicht mehr Teil der Feindseligkeiten sind. Jede neue Technologiegeneration wirft Probleme bei der Anwendung der Genfer Konventionen auf, die kurz nach dem Zweiten Weltkrieg als Reaktion auf die Schrecken dieses Krieges formuliert wurden.

Die meisten der vorangegangenen Technologiegenerationen fallen jedoch noch in den Bereich der traditionellen Kriegsführung. Die automatisierte Datenerfassung und nachrichtendienstliche Analyse drohen jedoch das Verständnis davon zu verändern, „wer direkt an Feindseligkeiten beteiligt ist“.

Die Grundlage dieser Verschiebung liegt im Aufbau solcher automatisierten Systeme. Unabhängig davon, wie sie eingesetzt werden, erfordern sogenannte KI-Anwendungen erhebliche Datenmengen, die schnell genug verarbeitet werden müssen, um im Kampf eingesetzt werden zu können. Militärische KI muss Millionen von Eingaben analysieren, um im Gefecht sinnvolle Empfehlungen auszusprechen.

„Es braucht dringend klare Verbote und Vorschriften“

Wer ist noch Zivilist:in?

Die Risiken, die mit dem Einsatz von KI in der Kriegsführung verbunden sind, werden jedoch kaum öffentlich diskutiert. Die Digitalisierung der Kriegsführung hat zu einer Herausforderung sowohl für das Militär als auch für das humanitäre Völkerrecht geführt, weil die Rolle von Bürger:innen bei der Kriegsführung in einigen Fällen immer unschärfer wird.

Ein Beispiel dafür ist die Verwendung von Kryptowährungen für das Fundraising von Spenden von über 225 Millionen US-Dollar für die Kriegsanstrengungen in der Ukraine, zum Beispiel für Waffen, Munition und medizinische Ausrüstung sowie anderes kriegswichtiges Material. Im Vergleich dazu brachte eine tschechische Crowdfunding-Kampagne 1,3 Millionen Dollar für den Kauf eines Panzers für die ukrainischen Streitkräfte auf. In anderen Kriegsgebieten ist zu beobachten, dass Zivilist:innen ihre Computer entweder für über KI koordinierte Distributed-Denial-of-Service-Angriffe (DDoS) zur Verfügung gestellt haben oder sie durch Computerviren für diese Aktivitäten gehackt und genutzt wurden.

Digitale Technologien stellen daher einige Annahmen darüber infrage, wer im Krieg ein:e Zivilist:in ist. Dies wirft zudem die interessante und schwierige Fragen in Bezug darauf auf, wer als aktive Teilnehmer:innen an der Kriegsführung gilt. Mit Hilfe von Smartphone-Apps können Zivilist:innen selbst zu einem bedeutenden Dateninput für Kriegsanstrengungen werden.

Es drohen wachsende Opferzahlen

Automatisierte Datenbestände sind auf aktuelle Informationen angewiesen, um den militärischen Entscheidungsträgern Empfehlungen zu geben. Wenn diese Daten von zivilen Smartphones stammen, könnten diese Personen als aktive Kriegsteilnehmer betrachtet werden.

Wenn der Laptop oder Computer einer Person für DDoS-Angriffe genutzt wird, ist es etwas schwieriger zu beweisen, dass jemand bereitwillig an Feindseligkeiten teilnimmt. Die aktive Beschaffung von Geldern – entweder über Kryptowährungen oder über Crowdfunding-Plattformen – lässt sich jedoch leichter als aktive Teilnahme an Kriegsanstrengungen interpretieren.

Digitale Technologien haben es Einzelpersonen weltweit ermöglicht, Geld zu sammeln und eine Rolle zu übernehmen, die zuvor nationalen Regierungen vorbehalten war: die Bereitstellung von Waffen für den Kriegseinsatz.

Darüber hinaus besteht bei der Übernahme von Datensätzen aus verschiedenen Quellen ein größeres Risiko, dass Datenquellen mit digitalen Viren infiziert oder mit falschen Daten gefüttert werden, um die Kriegsanstrengungen zu behindern. Dadurch werden Szenarien möglich, in denen die KI-Maßnahmen empfiehlt, die die Kriegsführung verschlechtern oder die zu überstürzten Entscheidungen führen, ohne dass die Reaktion des Feindes abgewartet wird. Anstatt die Zahl der Opfer zu verringern, kann die automatisierte Entscheidungsfindung Opferzahlen also ungewollt dramatisch erhöhen.

Wie sich KI von Atombomben unterscheidet

Während des Kalten Krieges gab es zahlreiche Beinahe-Einsätze von Waffen, die teils durch die damalige Langsamkeit der Kommunikation, vor allem aber durch die Rolle des Menschen beim Abfeuern von Raketen verhindert wurden. Der vielleicht berühmteste Vorfall ereignete sich 1983, als ein Computersystem fälschlicherweise meldete, dass sechs Atomraketen von den Vereinigten Staaten in Richtung Russland gestartet worden waren. Der diensthabende Stanislaw Petrow entschied, dass das System fehlerhaft sein musste, und bewahrte durch bewusste Befehlsverweigerung die Welt vor einem totalen Atomkrieg, der durch Vergeltungsmaßnahmen der USA und der NATO rasch ausgelöst worden wäre, wenn Petrow das Protokoll befolgt hätte.

Viele Menschen haben die KI mit Atombomben verglichen. Diese Technologien unterscheiden sich jedoch grundlegend von Atomwaffen. Beim Einsatz von Atomwaffen blieb die Autonomie des Menschen gewahrt. Von Anfang bis Ende war der Mensch an jedem Schritt der Analyse, Interpretation und Reaktion auf die Daten beteiligt, die ihm von den verschiedenen Computersystemen für den Atomkrieg vorgelegt wurden.

Viele Befürworter und Entwickler der Automatisierung in der Kriegsführung propagieren die Idee des „Human-in-the-Loop“-Ansatzes. Dabei wird ein geschulter Entscheider an bestimmten Stellen in die KI-Prozesse einbezogen, um sicherzustellen, dass ein Mensch die Entscheidungen trifft und nicht die Algorithmen selbst. Auf diese Weise soll sichergestellt werden, dass menschliche Ethik und Moral in die Entscheidungsprozesse einfließen und somit die Einhaltung des humanitären Völkerrechts gewährleistet ist.

Autonomie und Kontrolle

Die entscheidende Frage ist hier jedoch die nach der Autonomie. Mit automatisierten Systemen verliert der Mensch mit der Zeit immer mehr die Autonomie, Entscheidungen über Datensätze zu treffen. Je mehr Daten zur Erstellung und Verfeinerung von Modellen verwendet werden und je öfter diese Modelle zur Verbesserung der Algorithmen ausgeführt werden, desto weniger Wissen kann ein Mensch über diesen Prozess haben. Daher ist es fraglich, inwieweit ein Mensch glaubhaft Autonomie oder Kontrolle über die von der KI getroffenen Entscheidungen beanspruchen kann.

Die schiere Menge an Datenquellen, die kombiniert und ausgewertet werden, unterscheidet die KI grundlegend von früheren Generationen digitaler Kriegsführung. Die „Human-in-the-Loop“-Lösung ist daher keine wirkliche Antwort auf die Frage, unter welchen Bedingungen Zivilist:innen als aktive Teilnehmer an Kriegsanstrengungen definiert werden können.

Wir brauchen neue Lösungen und neue internationale Vereinbarungen, die sich nicht nur auf die Anwendung neuer Kriegswaffen konzentrieren, sondern auch auf die Art und Weise, wie Datenquellen für diese Waffen genutzt werden können. Es muss klar definiert werden, was Teilnehmer:innen an einer digital gestützten Kriegsführung auszeichnet, damit Regierungen, Militärs und Zivilist:innen in Kriegsgebieten fundierte Entscheidungen treffen können.

Wenn jetzt keine geeigneten Maßnahmen ergriffen werden, wird es wieder einmal auf Menschen ankommen, die mutig genug sind, Befehle vollständig zu missachten, um schreckliche, vollautomatische Folgen zu vermeiden.

Cathy Mulligan ist Expertin für digitale Technologien und digitale Wirtschaft. Derzeit ist sie Richard von Weizsäcker Fellow bei der Robert-Bosch-Stiftung in Berlin.

Deine Spende für digitale Freiheitsrechte

Wir berichten über aktuelle netzpolitische Entwicklungen, decken Skandale auf und stoßen Debatten an. Dabei sind wir vollkommen unabhängig. Denn unser Kampf für digitale Freiheitsrechte finanziert sich zu fast 100 Prozent aus den Spenden unserer Leser:innen.

9 Ergänzungen

  1. Zitat: Außerdem kann Künstliche Intelligenz die verschlüsselte Kommunikation feindlicher Streitkräfte entschlüsseln und automatisch übersetzen. Russland und China arbeiten aktiv an der Entwicklung derartiger automatisierter Systeme.

    >> Soso der STANAG 5066 TRANSEC CRYPTO SUBLAYER wäre also kompromittiert und die AES256 Encryption Engine endlich geknackt. Upsi ( Quellenlage ?? )

    https://de.wikipedia.org/wiki/NSA_Suite_B_Cryptography

    Softwarehersteller können ihre Produkte, die auf Suite-B-Algorithmen basieren, zertifizieren und auf Sicherheit überprüfen lassen. Für einige Einsatzbereiche in hochsensiblen Datenumgebungen (z. B. Regierung) ist eine Überprüfung Pflicht.

    https://csrc.nist.gov/projects/cryptographic-module-validation-program/validated-modules/search/all
    https://www.cisa.gov/sites/default/files/2023-10/23_0918_fpic_AES-Transition-WhitePaper_Final_508C_23_1023.pdf

    Naja, das BSI ( z. Hd. des Vizepräsidenten Dr. Gerhard Schabhüser ) und die Kollegen in Bonn- Mehlem ( früher mal Zentralstelle für das Chiffrierwesen (ZfCh) ) sind für jeden – auch noch so kleinen – Hinweis seitens der Autorin sicherlich dankbar.

    1. Bitte schön:

      AES256 ist etwa auf dem stm32 & friends „geknackt“. Man braucht eine kleine Antenne oder die Messung der Stromaufnahme (oder umgeht einfacher die „readout protection“). Das gilt besonders wenn die Implementierung bekannt ist. Und sicherheitsrelevante Routinen schreibt man besser nicht einfach neu, so dass der Code wahrscheinlich bekannt ist (oder eben Schwachstellen aufweist). Und (Ironie mit etwas realem Hintergrund) bei dem „Fachkräftemangel“ dürfte der Code sowieso von Stackoverflow kopiert sein.

      Die Übernahme oder Manipulation „feindlicher“ Systeme ist definitiv Ziel und Möglichkeit bei „digitaler“ oder gar „KI“ Kriegsführung. Die Folgen dürften furchtbar sein wenn sich die eigenen Systeme gegen einen selbst richten. Aber man selbst ist ja unangreifbar per Definition.

      Kriegslogik eben.

      1. Danke schön und ist seit 1998 der Fachwelt ein Begriff.
        Paul Kocher, Josh Jaffe, Benjamin Jun. Introduction to Differential Power
        Analysis and Related Attacks (Technical Report), 1998.
        https://iacr.org/archive/ches2007/47270001/47270001.pdf.

        https://www.researchgate.net/publication /312873398_Tamper_resistant_cryptographic_hardware
        Um eine Differential Power Analysis (DPA) oder aber die Correlation Power Analysis (CPA) durchführen zu können, befindet sich die EM Sonde in unmittelbarer Nähe zum Chip.

        https://en.wikipedia.org/wiki/STANAG_5066
        Die AES – Schlüssel werden regelmäßig gewechselt, sodass DPA bzw. CPA hier nicht zielführend sind. Die AES256 Encryption Engine (Suite-B-Algorithm basiert ) wurde bisher nicht geknackt, falls aber doch so eine Lösung existiert und bei weiteren Fragen gerne https://www.ncia.nato.int/business.html

    2. Stimmt, dass muss in meiner Erinnerung so um die 2000 gewesen sein. Und ihr habt es immer noch nicht begriffen? 2024 wird festgestellt, dass ihr die AES-Schlüssel regelmäßig wechselt (ach) und bettelt bei NP um Hinweise?

      Ich fühle mich bei dem Plan B (natürlich Suite-B-Algorithm basiert ) schon deutlich sicher, wenn die Robis angreifen werden. Weitere böse Satire gestrichen. Später vielleicht.

      Ernsthaft: Wer meint der Kampf der Code breaker und Code maker sei entscheidbar, der hat weit mehr als 2000 Jahre verschlafen. Ich empfehle Hoffstädters Godel Escher und Bach für den Laien, besonders die Geschichte mit dem „unzerstörbaren“ Plattenspieler für den Anfang. Und dann bitte jemanden fragen, der sich mit Mathematik auskennt. Es gibt da leider so ein paar Tatsachen (…)

      Sorry, dieser Plan B geht nicht und endet in einer kompletten Katastrophe. Bitte reflektiert ein wenig, was Cathy Mulligan da schreibt. Und die ist aus meiner Sicht noch sehr zahm.

      1. @ Joachim
        Was die “ KI “ so alles >> A Systematic Study of Data Augmentation for Protected AES Implementations https://eprint.iacr.org/2023/1179.pdf <> https://en.wikipedia.org/wiki/Key_wrap
        AES Key Wrap Specification (November 2001, RFC 3394) ist also schon seit anno Tobak Standard.

        >> sich mit Mathematik auskennt. gerne doch, ist und war mein täglich Brot.
        >> Es gibt da leider so ein paar Tatsachen (…) in aller Bescheidenheit, hatte ich doch die Ehre an der Aufdeckung einiger dieser „Tatsachen“ aktiv mitwirken zu dürfen.

        Zu Zeiten des „kalten Krieges, also vor 1989, hätten diese Tatsachenbehauptungen der Autorin
        eine ganze Reihe von Untersuchungen zur Folge gehabt. Also die Nato °bettelt° nicht um Hinweise auf NP.org. Aber mit an Sicherheit grenzender Wahrscheinlichkeit ( 100 prozentig :) , wäre der Autorin eine förmliche Ladung zu einem sehr vertraulichen Gespäch zuteil geworden.

  2. Ki ist mit der Atombombe verglichen, weil das Potential angenommen wird, das KI schlimmer wird.

    KI hat das Potential, weil:
    – Ganze Kontinente könnten abgehängt werden (sogar Wirtschaftskrieg ist Krieg.).
    – Super-KI.
    – Anti-Human-Engineering mit Skalierungsfaktoren (eher „social“).

    Solche Sachen, eher nicht die Schlachtfeld-KI.

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Bitte keine reinen Meinungsbeiträge! Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.